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ermittelt (Schritt 507) und die Bewegung des digital isierten Bildes wird beschrieben durch das ermittelte Bewegungsmodell. 
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Beschreibung 

Verfahren und Anordnung zur Ermittlung einer Bewegung, der 
ein digitalisiertes Bild unterliegt 

5 

Die Erfindung betrifft die Ermittlung einer Bewegung, der ein 
digitalisiertes Bild unterliegt. 

Ein Verfahren zur Ermittlung einer Bewegung, der ein digita- 
10 lisiertes Bild unterliegt/ ist aus [1] und [2] bekannt. 

Bei dem Verfahren aus [1] wird eine globale relative Bewegung 
zwischen einer Kamera und einer von der Kamera auf gezeichne- 
ten Folge von Bildern bestimmt. Dem Verfahren aus [1], wel- 
15 ches im Rahmen der Bildstabilisierung einer Kamera eingesetzt 
wird, liegt ein sehr ungenaues Bewegungsmodell zugrunde, wel- 
ches lediglich eine Verkippung der Kamera beschreiben kann. 

Dieser Nachteil einer erheblichen Ungenauigkeit bei der Be- 
2 0 stimmung der globalen Bewegung ist auch dem Verfahren aus [2] 
immanent, welches Verfahren im Rahmen der Segmentierung des 
digitalisierten Bildes eingesetzt wird. 

Urn eine verbesserte Genauigkeit zu erreichen, ist es bekannt, 
25 ein komplexeres Bewegungsmodell zur Ermittlung einer Bewegung 
zugrundezulegen, das auf der Ebene der Bildpunkte, die in dem 
Bild enthalten sind, mit Hilfe von Gradienten im digitali- 
sierten Bild bestimmt wird [3] . Dieses Verfahren ist jedoch 
aufwendig und somit nur unter erheblichem Rechenzeitbedarf 
30 durchf iihrbar . 

Weiterhin ist aus [4] ein Verfahren zur sogenannten Bewe- 
gungsschatzung im Rahmen eines Verfahrens zur blockbasierten 
Bildcodierung bekannt. In diesem Verfahren wird vorausge- 
35 setzt, daii ein digitalisiertes Bild Bildpunkte aufweist, wel- 
che in Bildblocke von tiblicherweise 8*8 Bildpunkten oder 
16 * 16 Bildpunkten gruppiert sind. 
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Im weiteren ist unter einem Bildblock sowohl ein Bildblock 
von beispielsweise 8*8 Bildpunkten oder 16 * 16 Bildpunk- 
ten, aber auch eine Menge von Bildblockeri/ beispielsweise ein 
5 sogenannter Makroblock, der 6 Bildblocke (4 Bildblocke mit 
Helligkeitsinf ormation, 2 Bildblocke mit Farbinf ormat ion) 
enthalt, zu verstehen. 

Im Rahmen einer Folge zeitlich auf einanderf olgender Bilder 
10 wird fur ein zu codierendes Bild fiir einen Bildblock in dem 
zu codierenden Bild und ein zeitlich vorangegangenes, schon 
codiertes Bild, fiir jeden Bildblock folgendes Verfahren 
durchgef uhrt : 

15 - Es wird fiir den Bildblock, fur den eine Bewegungsschatzung 
durchgeftihrt wird, in dem zeitlich vorangegangenen Bild aus- 
gehend von einem Bildblock, der sich in der gleichen relati- 
ven Position in dem zeitlich vorangegangenen Bild befindet, 
im weiteren als ein vorangegangener Bildblock bezeichnet, ein 

20 Fehlerwert eines Fehlermaiies gebildet, indem beispielsweise 

eine Summe liber die Betrage der Differenzen von den Bildpunk- 
ten zugeordneter Codierungsinf ormation des Bildblocks und des 
vorangegangenen Bildblocks gebildet wird. 

25 Unter Codierungsinf ormation ist in diesem Zusammenhang Hel- 
ligkeitsinf ormation (Luminanzwert ) und/ oder Farbinf ormation 
(Chrominanzwert ) zu verstehen, die jeweils einem Bildpunkt 
zugeordnet ist. 

30 - In einem Suchraum vorgebbarer Grofle und Form um die Aus- 

gangsposition in dem zeitlich vorangegangenen Bild herum wird 
jeweils ein Gebiet derselben Groiie eines Bildblocks 
(vorangegangener Bildblock), verschoben jeweils um einen oder 
einen halben Bildpunkt, wiederum ein Fehlerwert des Fehlerma- 

35 iJes gebildet. 
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- Somit ergeben sich bei einem Suchraum der GroBe n * n Bild- 
punkte n2 Fehlerwerte. Es wird derjenige ^^verschobene'^ voran- 
gegangene Bildblock in dem zeitlich vorangegangen Bild ausge- 
wahlt, fur den das Fehlermali einen minimalen Fehlerwert er- 
gibt. Fur diesen Bildblock wird angenommen, daii dieser voran- 
gegangene Bildblock mit dem Bildblock des zu codierenden Bil- 
des, fur den die Bewegungsschatzung durchgefuhrt wird, am be- 
sten libereinstimmt . 

- Das Ergebnis der Bewegungsschatzung ist ein Bewegungsvek- 
tor, mit dem die Verschiebung zwischen dem Bildblock in dem 
zu codierenden Bild und dem ausgewahlten Bildblock in dem 
zeitlich vorangegangenen Bild beschrieben wird. 

- Eine Bilddatenkompression bei der blockbasierten Bildcodie- 
rung wird dadurch erreicht, daii lediglich der Bewegungsvektor 
sowie ein Fehler signal codiert werden. 

- Die Bewegungsschatzung wird ftir jeden Bildblock eines Bil- 
des durchgefuhrt . 

Mit dem aus [4] beschriebenen Verfahren ist jedoch eine 
^^globale" Bewegungsschatzung, d,h. eine Ermittlung der Bewe- 
gung zwischen einer Kamera und der von der Kamera aufgezeich- 
neten Szene, nicht moglich. 

Dies ist insbesondere auf die Heterogenitat eines Bildes mit 
einer Vielzahl von sich in dem Bild in unterschiedlicher Wei- 
se bewegenden Objekten zuriickzuf uhren . 

Die Anwendung der Bewegungsschatzung zur blockbasierten Bild- 
codierung oder auch zur objektbasierten Bildcodierung ist aus 
[5] und [6] bekannt. 



Somit liegt der Erfindung das Problem zugrunde, eine Bewe- 
gung, der ein digitalisiertes Bild unterliegt, auf einfache, 
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schnelle, kostengunstige Weise zu ermitteln und zu beschrei- 
ben. 

Das Problem wird durch das Verfahren gemafi Patentanspruch 1 
5 sowie durch die Anordnung gemafi Patentanspruch 10 gelost. 

Das Verfahren zur rechnergestiitzten Ermittlung einer Bewe- 
gung, der ein digitalisiertes Bild unterliegt, umfaiit folgen 
de Schritte : 

10 - das digitalisierte Bild enthalt Bildpunkte, die zu Bild- 
blocken gruppiert sind, 

- ftir jeden Bildblock wird eine Bewegungsschatzung durchge- 
fuhrt, wodurch fur jeden Bildblock ein Bewegungsvektor errait 
telt wird, welcher Bewegungsvektor dem jeweiligen Bildblock 

15 zugeordnet wird, 

- Bewegungsvektoren, die einem Bildblock, der in einem vorge 
gebenen Bereich des digitalisierten Bildes liegt, zugeordnet 
sind, werden ausgewahlt, 

- aus den ausgewahlten Bewegungsvektoren werden Parameter ei 
20 nes Bewegungsmodells ermittelt, 

- die Bewegung des digitalisierten Bildes wird durch das er- 
mittelte Bewegungsmodell beschrieben • 

Die Anordnung zur rechnergestiitzten Ermittlung einer Bewe- 
25 gung, der ein digitalisiertes Bild unterliegt, weist einen 
Prozessor auf, der derart eingerichtet ist, daii folgende 
Schritte durchftihrbar sind: 

- das digitalisierte Bild enthalt Bildpunkte, die zu Bild- 
blocken gruppiert sind, 

30 - fur jeden Bildblock wird eine Bewegungsschatzung durchge- 
ftihrt, wodurch fiir jeden Bildblock ein Bewegungsvektor ermit 
telt wird, welcher Bewegungsvektor dem jeweiligen Bildblock 
zugeordnet wird, 

- Bewegungsvektoren, die einem Bildblock, der in einem vorge 
35 gebenen Bereich des digitalisierten Bildes liegt, zugeordnet 

sind, werden ausgewahlt. 
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- aus den ausgewahlten Bewegungsvektoren werden Parameter ei- 
nes Bewegungsmodells ermittelt, und 

- die Bewegung des digitalisierten Bildes wird beschrieben 
durch das ermittelte Bewegungsmodell . 

5 

Durch das Verfahren wird ein effizientes, einfaches und somit 
kostengunstig unter erheblich geringerem Rechenbedarf durch- 
fiihrbares Verfahren und eine somit kostengunstig realisierba- 
re Anordnung angegeben. 

10 

Anschaulich ist die Erfindung darin zu sehen, daB Bewegungs- 
vektoren, die bei der blockbasierten Bildcodierung ohnehin 
ermittelt werden, verwendet werden zur Ermittlung einer glo- 
balen Bewegung zwischen einer Kamera und einer durch die Ka- 
15 mera auf genommenen Szene . 

Bei der Ermittlung der Bewegung werden jedoch nur Bewegungs- 
vektoren bertlcksichtigt, die Bildblocken zugeordnet sind, die 
in einem vorgegebenen Bereich liegen. 

20 

Vorteilhafte Weiterbildungen der Erfindung ergeben sich aus 
den abhangigen Anspriichen. 

In einer Weiterbildung der Erfindung ist es vorteilhaft, daB 
25 der vorgegebene Bereich durch Bildblocke gebildet wird, die 

in einem vorgegebenen ersten Abstand von einem Rand des digi- 
talisierten Bildes und/oder in einem vorgegebenen Abstand von 
der Mitte des digitalisierten Bildes liegen. 

30 Dieser Weiterbildung liegt die Erkenntnis zugrunde, dalJ Bewe- 
gungsvektoren von Bildblocken, die am Rand des Bildes liegen, 
im allgemeinen nur unzuverlassig die tatsachliche Bewegung 
angeben. Ferner laiit sich durch Bewegungsvektoren, die Bild- 
blocken zugeordnet sind, die sich in einem Gebiet um die Mit- 

35 te des Bildes gruppieren, ein Zoomen und Rotieren einer Kame- 
ra nur unzuverlassig angeben. 
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Anschaulich bildet der vorgegebene Bereich in diesem Fall ei- 
ne '"Maske" in Form eines '"durchlochten" Rechtecks innerhalb 
des digitalisierten Bildes, 

Eine weitere Weiterbildung besteht darin, Iterationen bei der 
Determinierung des Bewegungsmodells einzufilhren, indem nach 
einer Bestimmung der Parameter des Bewegungsmodells die 
''Maske" modifiziert wird und mit dieser modif izierten ''Maske" 
die Parameter des Bewegungsmodells neu berechnet wird. Die 
''Maske" kann hierbei zum Beispiel dadurch modifiziert werden, 
daJi Blocke, dessen Bewegungsvektoren von denen des Bewegungs- 
modells abweichen und diese Abweichung beztiglich eines vor- 
gebbaren Distanzmafies einen Schwellwert liberschreitet , aus 
dem vorgegebenen Bereich eliminiert werden. 

Eine weitere Ausgestaltung besteht darin, den vorgegebenen 
Bereich durch Bildblocke zu bilden, deren Bewegung besonders 
zuverlassig geschatzt worden konnten. Dies laBt sich z.B. da- 
durch erkennen, daft der zugehorige Pradiktionsf ehler unter 
einer vorgegebenen Schwelle liegt oder die Varianz des Pra- 
diktionsf ehlers im Suchgebiet liber einer Schwelle liegt, 

Ferner kann statt der in den bisherigen TUosatzen beschriebe- 
nen binaren ^'Maske" eine ""'Gewichtungsmaske" eingesetzt wer- 
25 den. Hierbei werden nicht wie bisher beschrieben Blocke bzw. 
dessen Bewegungsvektoren fur die welter Berechnung diskret 
ausgewahlt, sondern die Blocke bzw, dessen Bewegungsvektoren 
mit Faktoren gewichtet, Diese konnen fiir die X- und Y- 
Komponente des Bewegungsvektors unterschiedlich sein. Diese 
30 Gewichtungen gehen in die Berechnung der Parameter des Bewe- 
gungsmodells ein. 



35 



Die ermittelte Bewegung kann zur Kompensation einer tatsach- 
lichen Bewegung der Anordnung, mit der ein Bild aufgenommen 
wird/ eingesetzt werden. 
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Die Erfindung kann zur Kompensation einer Kamerabewegung oder 
auch zur Kompensation einer Bewegung eines mobilen Kommunika- 
tionsgerats, welches die Kamera umfaiit, dienen. 

Ein Ausfiihrungsbeispiel der Erfindung ist in den Zeichnungen 
dargestellt und wird im weiteren naher erlautert: 

Es zeigen 

Figur 1 ein Blockdiagramm, in dem das anschauliche Prinzip 
des Ausfuhrungsbeispiels dargestellt ist; 

Figur 2 eine Skizze einer Anordnung mit einer Kamera und ei- 
ner Codiereinheit zur Codierung der mit der Kamera 
auf genommenen Bildfolge sowie eine Anordnung zur De- 
codierung der codierten Bildfolge; 

Figur 3 eine detaillierte Skizze der Anordnung zur Bildcodie- 
rung und zur globalen Bewegungskompensation; 

Figuren 4 a bis c jeweils ein Bild, in dem ein Bewegungs- 

vektorfeld fiir das Bild gegeniiber einem zeitlich vor- 
angegangenen Bild mit einem vorgegebenen Bereich 
(Figur la) , aus dem jeweils die Bewegungsvektoren zur 
Bildung von Parametern eines Bewegungsmodells ermit- 
telt bestimmt werden und, ein Bild mit alien Bewe- 
gungsvektoren (Figur lb) und ein Bild mit Bewegungs- 
vektoren nach einer Iteration des Verfahrens mit dem 
in Figur la dargestellten vorgegebenen Bereich (Figur 
Ic) ; 

Figur 5 ein Ablauf diagramm, in dem die Verf ahrensschritte des 
Ausfuhrungsbeispiels dargestellt sind. 

In Fig. 2 ist eine Anordnung dargestellt, die zwei Rechner 
202, 208 und eine Kamera 201 umfalit, wobei Bildcodierung, 
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Obertragung der Bilddaten und Bilddecodierung veranschaulicht 
warden . 

Eine Kamera 201 ist mit einem ersten Rechner 202 liber eine 
5 Leitung 219 verbunden. Die Kamera 201 iibermittelt auf genomme- 
ne Bilder 204 an den ersten Rechner 202, Der erste Rechner 
202 verfugt liber einen ersten Prozessor 203, der uber einen 
Bus 218 mit einem Bildspeicher 205 verbunden ist. Mit dem er- 
sten Prozessor 203 des ersten Rechners 202 wird ein Verfahren 

10 zur Bildcodierung durchgef uhrt . Auf diese Art codierte Bild- 
daten 2 06 werden von dem ersten Rechner 202 uber eine Kommu- 
nikationsverbindung 207, vorzugsweise eine Leitung oder eine 
Funkstrecke, zu einem zweiten Rechner 208 ubertragen. Der 
zweite Rechner 208 enthalt einen zweiten Prozessor 209, der 

15 uber einen Bus 210 mit einem Bildspeicher 211 verbunden ist. 
Mit dem zweiten Prozessor 209 wird ein Verfahren zur Bildde- 
codierung durchgef lihrt * 

Sowohl der erste Rechner 202 als auch der zweite Rechner 208 
20 verfligen jeweils uber einen Bildschirm 212 bzw. 213, auf dem 
die Bilddaten 204 visualisiert werden. Zur Bedienung sowohl 
des ersten Rechners 202 als auch des zweiten Rechners 208 
sind jeweils Eingabeeinheiten vorgesehen, vorzugsweise eine 
Tastatur 214 bzw. 215, sowie eine Computermaus 216 bzw. 217. 

25 

Die Bilddaten 204, die von der Kamera 201 uber die Leitung 
219 zu dem ersten Rechner 202 ubertragen werden, sind Daten 
im Zeitbereich, wahrend die Daten 206, die von dem ersten 
Rechner 202 zu dem zweiten Rechner 208 uber die Kommunikati- 
30 onsverbindung 207 ubertragen werden, Bilddaten im Spektralbe- 
reich sind. 

Auf einem Bildschirm 220 werden die decodierten Bilddaten 
dargestellt . 

35 



10 



15 
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Fig. 3 zeigt eine Skizze einer Anordnung zur Durchfuhrung ei- 
nes blockbasierten Bildcodierver f ahrens gemafi H . 263-Standard 
(siehe [5] ) . 

Ein zu codierender Videodatenstrom mit zeitlich aufeinander- 
folgenden digitalisierten Bildern wird einer Bildcodierungs- 
einheit 301 zugefuhrt. Die digitalisierten Bilder sind unter- 
teilt in Makroblocke 302, wobei jeder Makroblock 16x16 Bild- 
punkte enthalt. Der Makroblock 302 umfafit 4 Bildblocke 303, 
304, 305 und 306, wobei jeder Bildblock 8x8 Bildpunkte, denen 
Luminanzwerte (Helligkeitswerte ) zugeordnet sind, enthalt. 
Weiterhin umfafit jeder Makroblock 302 zwei Chrominanzblocke 
307 und 308 mit den Bildpunkten zugeordneten Chrominanzwerten 
(Farbinformation, Farbsattigung) . 



Der Block* -eines Bildes enthalt einen Luminanzwert 
(=Helligkeit) , einen ersten Chrominanzwert (=Farbton) und ei- 
nen zweiten Chrominanzwert (=Farbsattigung) . Dabei werden Lu- 
minanzwert, erster Chrominanzwert und zweiter Chrominanzwert 
20 als Farbwerte bezeichnet. 

Die Bildblocke werden einer Transf ormationscodierungseinheit 
309 zugefuhrt. Bei einer Dif f erenzbildcodierung werden. zu co- 
dierende Werte von Bildblocken zeitlich vorangegangener Bil- 

25 der von den aktuell zu codierenden Bildblocken abgezogen, es 
wird nur die Dif f erenzbildungsinf ormation 310 der Transforma- 
tionscodierungseinheit (Diskrete Cosinus Transformation, DCT) 
309 zugefuhrt. Dazu wird tiber eine Verbindung 334 der aktuel- 
le Makroblock 302 einer Bewegungsschatzungseinheit 329 mitge- 

30 teilt. In der Transf ormationscodierungseinheit 309 werden fur 
die zu codierenden Bildblocke bzw. Dif f erenzbildblocke Spek- 
tralkoef f izienten 311 gebildet und einer Quantisierungsein- 
heit 312 zugefuhrt. 



35 Quantisierte Spektralkoeff izienten 313 werden sowohl einer 

Scaneinheit 314 als auch einer inversen Quantisierungseinheit 
315 in einem Ruckwartspf ad zugefuhrt. Nach einem Scanverfah- 
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ren, z.B. einem " zigzag"-Scanverf ahren, wird auf den gescann- 
ten Spektralkoef f izienten 332 eine Entropiecodierung in einer 
dafur vorgesehenen Entropiecodierungseinheit 316 durchge- 
f iihrt . Die entropiecodierten Spektralkoef f izienten werden als 
5 codierte Bilddaten 317 uber einen Kanal, vorzugsweise eine 
Leitung oder eine Funkstrecke, zu einem Decoder ubertragen. 

In der inversen Quantisierungseinheit 315 erfolgt eine inver- 
se Quantisierung der quantisierten Spektralkoef f izienten 313 > 

10 So gewonnene Spektralkoef f izienten 318 werden einer inversen 
Transf ormationscodierungseinheit 319 (Inverse Diskrete Cosi- 
nus Transformation, IDCT) zugefiihrt. Rekonstruierte Codie- 
rungswerte (auch Dif f erenzcodierungswerte) 320 werden im Dif- 
f erenzbildmodus einem Addierer 321 zugef iihrt. Der Addierer 

15 321 erhalt ferner Codierungswerte eines Bildblocks, die sich 
aus einem zeitlich vorangegangenen Bild nach einer bereits 
durchgefiihrten Bewegungskompensation ergeben. Mit dem Addie- 
rer 321 werden rekonstruierte Bildblocke 322 gebildet und in 
einem Bildspeicher 323 abgespeichert . 

20 

Chrominanzwerte 324 der rekonstruierten Bildblocke 322 werden 
aus dem Bildspeicher 323 einer Bewegungskompensationseinheit 
325 zugefuhrt, Fiir Helligkeitswerte 326 erfolgt eine Interpo- 
lation in einer dafur vorgesehenen Interpolationseinheit 327. 

25 Anhand der Interpolation wird die Anzahl in dem jeweiligen 
Bildblock enthaltener Helligkeitswerte vorzugsweise verdop- 
pelt. Alle Helligkeitswerte 328 werden sowohl der Bewegungs- 
kompensationseinheit 325 als auch der Bewegungsschatzungsein- 
heit 329 zugefuhrt. Die Bewegungsschatzungseinheit 329 erhalt 

30 auiierdem die Bildblocke des jeweils zu codierenden Makro- 

blocks (16x16 Bildpunkte) uber die Verbindung 334. In der Be- 
wegungsschatzungseinheit 329 erfolgt die Bewegungsschatzung 
unter Berticksichtigung der interpolierten Helligkeitswerte 
("Bewegungsschatzung auf Halbpixelbasis" ) . 

35 

Das Ergebnis der Bewegungsschatzung ist ein Bewegungsvektor 
330, durch den eine ortliche Verschiebung des ausgewahlten 



10 



15 
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Makroblocks aus deiti zeitlich vorangegangenen Bild zu dem zu 
codierenden Makroblock 302 zum Ausdruck kommt . 

Sowohl Helligkeitsinformation als auch Chrominanzinf ormation 
bezogen auf den durch die Bewegungsschatzungseinheit 329 er- 
mittelten Makroblock werden um den Bewegungsvektor 330 ver- 
schoben und von den Codierungswerten des Makroblocks 302 sub- 
trahiert (siehe Datenpfad 231) . 

Die Bewegungsschatzung erfolgt derart, daB fiir jeden Bild- 
block, fiir den eine Bewegungsschatzung durchgefuhrt wird, ein 
Fehler E gegeniiber einem Gebiet gleicher Form und Grofie wie 
der Bildblock in einem zeitlich vorangegangen Bild beispiels- 
weise gemaB folgender Vorschrift ermittelt wird: 



n m 



i = lj = l 



Xi,j - xdi,j 



-» min Vd e S , (1) 



wobei mit 



20 - i, j jeweils ein Index, 

- n, m eine Anzahl (n) von Bildpunkten entlang einer ersten 
Richtung x bzw. eine Anzahl (m) von Bildpunkten entlang einer 
zweiten Richtung y, die in dem Bildblock enthalten sind, 

- Xi j die Codierungsinformation, die einem Bildpunkt an der 
25 durch die Indizes i,j bezeichneten relativen Position in dem 

Bildblock zugeordnet ist, 

- xdi,j die Codierungsinformation, die dem jeweiligen durch 
i,j bezeichneten Bildpunkt in dem Gebiet des zeitlich voran- 
gegangenen Bildes, verschoben um einen vorgebbaren Wert d, 

30 zugeordnet ist, 

- S ein Suchraum vorgegebener Form und GroBe, in dem zeitlich 

vorangegangenen Bild, 



bezeichnet wird, 

35 
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Die Berechnung des Fehlers E wird fur jeden Bildblock fiir 
verschiedene Verschiebungen innerhalb des Suchraums S durch- 
gefuhrt. Es wird derjenige Bildblock in dem zeitlich vorange- 
gangenen Bild als dem Bildblock, fiir den die Bewegungsschat- 
zung durchgefuhrt wird, ahnlichsten ausgewahlt, dessen Fehler 
E minimal ist. 

Als Ergebnis der Bewegungsschat zung ergibt sich somit der Be- 
wegungsvektor 330 mit zwei Bewegungsvektorkomponenten, einer 
ersten Bewegungsvektorkomponente BV^ und einer zweiten Bewe- 
gungsvektorkomponente BVy entlang der ersten Richtung x und 
der zweiten Richtung y: 



Der Bewegungsvektor 330 wird dem Bildblock zugeordnet. 

Die Bildcodierungseinheit aus Figur 3 liefert somit fur alle 
Bildblocke bzw. Makrobildblocke einen Bewegungsvektor 330. 

Die Bewegungsvektoren 330 werden einer Einheit 335 zur Aus- 
wahl bzw, Gewichtung der Bewegungsvektoren 330 zugefiihrt. In 
der Einheit zur Auswahl der Bewegungsvektoren 335 werden die- 
jenigen Bewegungsvektoren 330 ausgewahlt bzw. hoch gewichtet, 
die Bildblocken zugeordnet sind, die sich in einem vorgegebe- 
nen Bereich 401 (vgl. Figur 4a) befinden. Des weiteren werden 
in der Einheit 335 Bewegungsvektoren ausgewahlt bzw. hoch ge- 
wichtet, die zuverlassig (342) geschatzt wurden. 

Die ausgewahlten Bewegungsvektoren 336 werden einer Einheit 
zur Ermittlung der Parameter des Bewegungsmodells 337 zuge- 
fiihrt. In der Einheit zur Ermittlung der Parameter des Bewe- 
gungsmodells 337 wird aus den ausgewahlten Bewegungsvektoren 
das im weiteren beschriebene Bewegungsmodell gemaii Figur 1 
ermittelt . 
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Das ermittelte Bewegungsmodell 338 wird einer Einheit zur 
Koitipensation 339 der Bewegung zwischen der Kamera und dem 
auf genommen Bild zugeftihrt. In der Einheit zur Kompensation 

339 wird entsprechend eines im weiteren beschriebenen Bewe- 

5 gungsmodells die Bewegung kompensiert, so daB ein in seiner 
Bewegung kompensiertes, in geringerem MaBe verwackeltes Bild 

340 in dem Bildspeicher 323 in dem das zuvor nicht bearbeite- 
te, in seiner Bewegung zu kompensierende Bild gespeichert 
ist, nach der Bearbeitung in der Einheit zur Kompensation 339 

10 wieder gespeichert. 

Fig. 1 zeigt in Form eines Blockschaltbildes das Prinzip, wel- 
ches der globalen Bewegungsermittlung zugrundeliegt . 

15 Ausgehend von einem Bewegungsvektorf eld 101, dem vorgegebenen 
Bereich bzw. einer Gewichtungsmaske 102 und einer Gewich- 
tungsmaske von Zuverlassigkeitsf aktoren 106 werden die Para- 
meter des im weiteren beschriebenen Bewegungsmodelis 338 be- 
rechnet (Schritt 103) . 

20 

Unter einem Bewegungsvektorf eld 101 ist eine Menge aller er- 
mittelten Bewegungsvektoren 330 zu einem Bild zu verstehen. 
Das Bewegungsvektorf eld 101 ist in Fig, 4b durch Striche, die 
jeweils einen Bewegungsvektor 330 fur einen Bildblock be- 
25 schreiben, dargestellt (402) . Das Bewegungsvektorf eld 402 ist 
auf dem digitalisierten Bild 400 skizziert. Das Bild 400 um- 
faiit ein sich bewegendes Objekt 403 in Form einer Person so- 
wie einen Bildhintergrund 404. 

30 Fig. 4a zeigt einen vorgegebenen Bereich 401. Der vorgegebene 
Bereich 401 gibt ein Gebiet an, in dem die Bildblocke liegen 
mussen, damit die Bewegungsvektoren, die diesen Bildblocken 
zugeordnet sind, ausgewahlt werden. 



35 



Der vorgegebene Bereich 401 ergibt sich dadurch, dali ein 
Randbereich 405, der gebildet wird durch Bildblocke, die in 
einem vorgegebenen ersten Abstand von 406 von einem Rand 407 



# 
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des digitalisierten Bildes 400 liegen. Dadurch werden Bild- 
blocke direkt am Rand 407 des Bildes 400 bei der Ermittlung 
der Parameter des Bewegungsmodells 338 nicht berucksichtigt . 
Ferner wird der vorgegebene Bereich 401 durch Bildblocke ge- 
5 bildet, die in einem vorgegebenen zweiten Abstand 408 von der 
Mitte 409 des digitalisierten Bildes 400 liegen. 

Der vorgegebene Bereich bzw. die Gewichtungsmaske wird in ei- 
nem iterativen Verfahren mit folgenden Schritten verandert zu 
10 einem neuen Bereich der folgenden Iteration (Schritt 104). 

Fiir jeden Bildblock in dem vorgegebenen Bereich 401 wird je- 
weils ein Vektorunterschiedswert VU ermittelt, mit dem der 
Unterschied des determinierten Bewegungsmodells 338 mit dem 
15 Bewegungsvektor 330, der dem jeweiligen Bildblock zugeordnet 
ist, beschrieben wird. Der Vektorunterschiedswert VU wird 
beispielsweise gemali folgender Vorschrift gebildet: 

VU = |bVx - MBVxl + |bVy - MBVyl / (2) 



wobei mit MBV^ und MBVy jeweils die Komponenten eines auf- 
grund des Bewegungsmodells berechneten Bewegungsvektors MBV 
bezeichnet sind. 

25 Die Ermittlung des modellbasierten Bewegungsvektors wird im 
weiteren naher erlautert. 

Bei Verwendung einer binaren Maske ist ein Bildblock in dem 
neuen Bereich der weiteren Iteration enthalten, wenn der je- 
30 weilige Vektorunterschiedswert VU kleiner als ein vorgebbarer 
Schwellenwert 8 ist. Ist jedoch der Vektorunterschiedswert VU 
groBer als der Schwellenwert 8 so wird der Bildblock, dem der 
jeweilige Bewegungsvektor zugeordnet ist, nicht mehr in dem 
neuen vorgegebenen Bereich berucksichtigt. 



20 



35 
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Bei Verwendung einer Gewichtungsmaske werden die Gewichtungs- 
faktoren der Blocke im umgekehrten Verhaltnis zum dessen VU 
angegeben . 

5 Durch diese Vorgehensweise wird erreicht/ daft diejenigen Be- 
wegungsvektoren, die sich gegenliber den Bewegungsvektoren MBV 
berechnet aus dem determinierten Bewegungsmodell erheblich 
unterscheiden, nicht bzw. nur geringfiigig bei der Berechnung 
der Parameter des Bewegungsmodells in einer weiteren Iterati- 
10 on berlicksichtigt werden. 

Nachdem der neue Bereich bzw. die neue Gewichtungsmaske ge- 
bildet worden 1st, wird unter Verwendung der Bewegungsvekto- 
ren, die Bildblocken zugeordnet sind, die in dem neuen Be- 
15 reich enthalten sind, bzw. unter zusatzlicher Verwendung der 
Gewichtungsmaske ein neuer Parametersatz fur das Bewegungsmo- 
dell determiniert . 

Das oben beschriebene Verfahren wird in einer vorgebbaren An- 
20 zahl von Iterationen oder solange bis ein Abbruchkriterium, 

wie beispielsweise die Unterschreitung einer Anzahl an elimi- 
nierten Blocken in einem Iterationsschritt, erfullt ist 
durchgef iihrt . 

25 Dabei wird jeweils der neue Bereich als der vorgegebene Be- 
reich bzw. die neue Gewichtungsmaske neben den alten Bewe- 
gungsvektoren als Eingangsgrofien der nachsten Iteration ver- 
wendet * 

30 Die Ermittlung der globalen Bewegung erfolgt derart, daJi Pa- 
rameter eines Modells flir die globale Kamerabewegung ermit- 
telt werden. 



35 



Zur Verdeutlichung des Bewegungsmodells wird im weiteren eine 
detaillierte Herleitung des Bewegungsmodells dargestellt: 
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Es wird davon ausgegangen, daii eine naturliche, dreidimensio- 
nale Szene mit der Kamera auf eine zweidimensionale Projekti- 
onsebene abgebildet wird. Eine Abbildung eines Punktes 



10 



wird gemaii folgender Vorschrift gebildet: 

A ZQ » F, (5; 



'A F M 



vyo> 



wobei mit F eine Brennweite und mit X,Y Koordinaten des abge- 
bildeten Punktes PQ auf der Bildebene beschreiben. 

Wird nun die Kamera bewegt, so bleibt die Abbildungsvor- 
15 schrift im synchron zur Kamera mitbewegten Koordinatensystem 
erhalten, die Koordinaten der Objektpunkte miissen jedoch in 
dieses Koordinatensystem transf ormiert werden. Da man alle 
Kamerabewegungen als Akkumulation von Rotation und Translati- 
on auffassen kann, laiit sich die Transformation vom ortsfe- 
20 sten Koordinatensystem (x, y, z) zu einem mitbewegten Koordi- 
natensystem (xQ, YQ, zq) gemafi folgender Vorschrift formulie- 
ren : 







c 




ri3 






N 


yo 




^21 


r22 


1^23 


• YO 


+ 


t2 






^^1 


^2 




\zo J 







Ausgehend von Vorschrift (6) wird eine von der Kamerabewegung 
verursachte Bildveranderung gemaB folgender Vorschrift model- 
liert : 



30 



^Cp cos((pz) - 1 - Cp sin((pz) 
^ Cp sin((pz) Cp cos((pz) - 1 



,3 



(7) 
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wobei mit AX, AY eine Koordinatenveranderung der Bildpunkte, 
hervorgeruf en in einem Zeitintervall At bei beschriebener Ka- 
merabewegung ist und mit cp^ der Winkel um den die Kamera um 
ein z-Achse in diesem Zeitintervall At rotiert wurde, be- 
5 zeichnet wird. Ein vorgegebener Faktor Cp bezeichnet eine 
Brennweitenanderung bzw. eine Translation entlang der z- 
Achse . 



Das in Vorschrift (7) dargestellte Gleichungssystem ist 
10 nichtlinear, weshalb eine direkte Bestimmung der Parameter 
des Gleichungssystems nicht moglich ist. 



Aus diesem Grund wird zur schnelleren Berechnung ein verein- 
fachtes Bewegungsmodell verwendet, bei dem die Kamerabewegung 
15 in der Abbildungsebene durch ein Bewegungsmodell mit 5 Para- 
metern verwendet wird, welche gemafi folgender Vorschrift ge- 
bildet werden: 



20 



25 



^11 ^12 
Vr2i r22-/ 



fi-' ^ 

r 



(8) 



Das hieraus mit den Daten des Bewegungsvektorf eldes entste- 
hende Gleichungssystem wird nun durch lineare Regression ge- 
lost, wobei die Komplexitat einer Invertierung einer syiimie- 
trischen 3*3 Matrix entspricht. 

I ! 1 T ? I 

Nach Bestimmung der Parameter r^^, ^"12' ^21' ^22' / und ty 
werden die Parameter der Vorschrift (7) gemafi folgenden Vor- 
schrif ten approximiert : 



30 



T = T , 



(9) 



Cf 









det 








1^21' 





(10) 
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P2 = arcsin ^ (r2i - ri2) • (11) 

Unter Verwendung dieser Parameter wird die Bewegung, die ein 
Bild relativ zu einer Kamera die das Bild aufnimiut/ unter- 
5 liegt/ kompensiert . 

Fig .4c zeigt die Bewegungsvektoren^ die Bildblocken zugeord- 
net sind, die in dera vorgegebenen Bereich 401 liegen. Dabei 
ist der vorgegebene Bereich 401 durch eine Iteration (Schritt 
10 104) gegenliber deiti vorgegebenen Bereich 401 aus Figur 4a ver- 
andert . 

Anhand von Fig . 5 wird das Verfahren noch einmal in seinen 
einzelnen Verf ahrensschritten dargestellt: 

15 

Nach Start des Verfahrens (Schritt 501) wird ein Bildblock 
Oder Makrobildblock ausgewahlt (Schritt 502). Fiir den ausge- 
wahlten Bildblock oder Makrobildblock wird ein Bewegungsvek- 
tor eriuittelt (Schritt 503) und es wird in einem weiteren 
20 Schritt (Schritt 504) uberpruft, ob alle Bildblocke bzw. Ma- 
krobildblocke des Bildes bearbeitet sind. 

Ist dies nicht der Fall, so wird in einem weiteren Schritt 
(Schritt 505) ein weiterer Bildblock oder Makrobildblock, der 
25 noch nicht bearbeitet wurde, ausgewahlt. 

Sind jedoch alle Bildblocke bzw. Makrobildblocke bearbeitet, 
so werden die Bewegungsvektoren ausgewahlt, die einem Bild- 
block oder einem Makrobildblock zugeordnet sind, die in dem 
30 vorgegebenen Bereich liegen (Schritt 506) , 

Aus den ausgewahlten Bewegungsvektoren werden die Parameter 
des Bewegungsmodells bestimmt (Schritt 507) . 1st eine weitere 
Iteration durchzuf uhren, d.h. die angegebene Anzahl an Itera- 
35 tionen noch nicht erreicht oder das Abbruchkriterium noch 
nicht erfullt, so wird in einem weiteren Schritt (Schritt 
509) ein neuer Bereich festgelegt bzw. die Gewichtungsmaske 
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der nachsten Iteration in Abhangigkeit der Vektorunter- 
schiedswerte VU berechnet (Schritt 510) . 

Es folgt die Kompensation der Bewegung des Bildes unter Ver- 
5 wendung des determinierten Bewegungsmodells (Schritt 508) . 

Im weiteren werden einige Alternativen zu dem oben darge- 
stellten Ausf uhrungsbeispiel erlautert: 

10 Die Form des Bereichs ist grundsatzlich beliebig und vorzugs- 
weise abhangig von Vorwissen iiber eine Szene. Es sollten die- 
jenigen Bildbereiche nicht zur Determinierung des Bewegungs- 
modells herangezogen werden, von denen bekannt ist, daB sich 
diese Bildbereiche von der globalen Bewegung deutlich unter- 

15 scheiden. 

Der Bereich sollte nur Bewegungsvektoren von Bildbereichen 
enthalten, die aufgrund der Zuverlassigkeitswerte 342 des Be- 
wegungsschatzverf ahrens als zuverlassig ausgewiesen sind. 

20 

Allgemein kann die Bewegungsschatzung nach einem beliebigen 
Verfahren erfolgen und ist keineswegs auf das Prinzip des 
Blockmatchings beschrankt. So kann beispielsweise auch eine 
Bewegungsschatzung unter Verwendung der dynamischen Program- 
25 mierung erfolgen. 

Somit ist die Art der Bewegungsschatzung und somit die Art 
und Weise, wie ein Bewegungsvektor fur einen Bildblock ermit- 
telt wird, fur die Erfindung nicht relevant* 

30 

Zur naherungsweisen Bestimmung der Parameter des Gleichungs- 
systems (7) ist es alternativ moglich, die Sinus-Terme und 
Cosinus-Terme in Vorschrift (7) zu linearisieren . 



35 



Damit ergibt sich ftir kleine Winkel folgende Vorschrift 



10 
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Cp — 1 — Cpco 2 
Cp - 1 



CpCO^ 









pi 




+ 




' U2 



- R2 
Rl 



tx 
ty 



(12) 



Da die Optimierung der Gleichungen fiir AX und AY nicht unab- 
5 hangig voneinander ist, wird bezuglich der Summe der Fehler- 
quadrate minimiert, also gemaJi folgender Vorschrift: 



z 

V 



(ax^ - RlXy^ + R2Y^ - tx)^ + (ay^ - R2X^ + RiY^ - ty)^ 



mm 



(13; 



Hierbei bezeichnen AX-^, 



AYj^ die X- bzw. Y- Komponente des 



Bewegungsvektors des Bildblocks r| an der Position X-^ , Y-^ des 



vorgegebenen Bereichs V des Bildes, 



15 Gemafij Gleichung (12) sind Ri, R2/ tx und ty die zu bestimiuen- 
den Parameter des Bewegungsmodells . 



Nach erfolgter Durchfuhrung des Optimierungsverf ahrens wird 
aufgrund des determinierten Gleichungssystems (12) durch Ein- 
2 0 setzen der X- und Y-Komponente des jeweiligen Makroblocks der 
zugehorige modellbasierte Bewegungsvektor MBV (AX, AY) be- 
stimmt • 



Statt der oben genannten Bereiche konnen auch Gewichtungsmas- 
25 ken Ax, Ay/ die die Zuverlassigkeit der Bewegungsvektoren, 

das a priori Wissen und die Ruckschlusse aus den VU bei ite- 
rativen Vorgehen fiir die X- und Y- Komponente der Bewegungs- 
vektoren getrennt reprasentieren bei der Berechnung der Para- 
meter des Bewegungsmodells gemaB folgenden Optimierungsansat- 
30 zes genutzt werden: 



V 



(ax^ • (aX^ - RiX^ + R2Yt^ - tx)) 
(ay^ • (ay^ - R2X^ - RiY^ - t^)f 



mm 
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aXr^ ^ Ax, ay^ e Ay • <1^> 

Eine Gewichtungsmaske Ax, Ay fiir die Zuver lassigkeit der Be- 
wegungsvektoren (105) kann beispielsweise berechnet warden, 
indem die Werte ax, oty fiir einen Bildblock beim Blockmat- 
ching wie folgt berechnet werden: 

1 ^ I SADt^ - SADmatchl ^^^^ 



ttx = ~rr 

SADmatch 



N 



a., - 



y SADmatch 



~ ^match 
I SADy^ - SADittatchl 



N 



y-Tj ~ ymatch 



(16) 



wobei SKDy^ die Summe der Pixeldif f erenzen eines Blocks bei 
der r|-ten Verschiebung Ix-^, y^) des Blockmatching und 
SADmatch selbiges fur das beste, schlielilich ausgewahlte Ge~ 
biet (xinatch. ymatch) darstellt. N ist die Gesamtanzahl an 
Suchpositionen, die untersucht worden sind. Wird dieser Wert 
nur unter Beachtung der beispielsweise 16 besten Gebiete be- 
rechnet, so kann das Blockmatching als ,,Spiralsuche'\ mit dem 
SAD des schlechtesten der 16 ausgewahlten Gebiete als Ab- 
bruchkriterium, durchgeftihrt werden. 

Eine weitere Moglichkeit, eine Gewichtungsmaske Ax = Ay = A 
fur die Zuverlassigkeit der Bewegungsvektoren zu berechnen 
besteht mit: 

^ SAD - SADmatch (17) 

wobei a = ax = ay der Gewichtungsf aktor eines Bildblocks 
bzw. dessen Bewegungsvektors ist. 



Die Erfindung kann beispielsweise eingesetzt werden zur Kom- 
pensation einer Bewegung einer sich bewegenden Kamera oder 
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auch zur Bewegungskompensation einer Kamera, die in ein mobi- 
les Kommunikationsgerat (Videohandy ) integriert ist. 

Ferner kann die Erfindung auch zur Bildsegmentierung, wie in 
5 [2] beschrieben, eingesetzt warden. 

Anschaulich ist die Erfindung darin zu sehen, dali Bewegungs- 
vektoren, die bei der blockbasierten Bildcodierung ohnehin 
ermittelt werden, verwendet werden zur Ermittlung einer glo- 
10 balen Bewegung zwischen einer Kaitiera und einer durch die Ka- 
mera auf genommenen Bildsequenz. 

Bei der Ermittlung der Bewegung werden jedoch nur Bewegungs- 
vektoren beriicksichtigt , die Bildblocken zugeordnet sind, die 
15 in einem vorgegebenen Bereich liegen. 

Zur Berechnung der globalen Bewegung werden die Bewegungsvek- 
toren der Bildblocke entsprechend ihrer Zuverlassigkeit ge- 
wichtet . 
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Patent anspriiche 

1. Verfahren zur rechnergestlitzten Ermittlung einer Bewegung, 
der ein digitaiisiertes Bild unterliegt, 

5 - bei dem das digitalisierte Bild Bildpunkte enthalt, die zu 
Bildblocken gruppiert sind, 

- bei dem fur jeden Bildblock eine Bewegungsschatzung durch- 
geflihrt wird, wodurch fur jeden Bildblock ein Bewegungsvektor 
ermittelt wird, welcher Bewegungsvektor dem jeweiligen Bild- 

10 block zugeordnet wird, 

- bei dem Bewegungsvektoren, die einem Bildblock, der in ei- 
nem vorgegebenen Bereich des digitalisierten Bildes liegt, 
zugeordnet sind, ausgewahlt werden, 

- bei dem aus den ausgewahlten Bewegungsvektoren Parameter 
15 eines Bewegungsmodells ermittelt werden, und 

- bei dem die Bewegung des digitalisierten Bildes beschrieben 
wird durch das ermittelte Bewegungsmodell . 

2. Verfahren nach Anspruch 1, 

20 bei dem der vorgegebene Bereich durch Bildblocke gebildet 

wird, die in einem vorgegebenen ersten Abstand von einem Rand 
des digitalisierten Bildes liegen. 

3. Verfahren nach Anspruch 2, 

25 bei dem der vorgegebene Bereich durch Bildblocke gebildet 

wird, die in einem vorgegebenen zweiten Abstand von der M.itte 
des digitalisierten Bildes liegen. 

4. Verfahren nach einem der Anspruche 1 bis 3, 

30 bei dem der vorgegebene Bereich in einem iterativen Verfahren 
verandert wird. 

5. Verfahren nach einem der Anspruche 1 bis 4, 

bei dem die Bewegungsschatzung durch einen blockweisen Ver- 
35 gleich des Bildblocks in dem digitalisierten Bild mit einem 

Bildblock in einem zeitlich vorangegangenen Bild erfolgt, der 
innerhalb eines Suchraums vorgegebener Form und Grolie urn ei- 
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nen vorgegebenen Wert gegenuber dem Bildblock in dem digita- 
lisierten Bild verschoben ist. 

6- Verfahren nach einem der Ansprtiche 1 bis 5, 

5 bei dem die ermittelte Bewegung kompensiert wird. 

7- Verfahren nach Anspruch 6, 

eingesetzt in einer bewegbaren Anordnung, deren Bewegung mit 
dem Verfahren kompensiert wird, 

10 

8. Verfahren nach Anspruch 1, 

bei dem die Anordnung eine Kamera ist. 

9. Verfahren nach Anspruch 8, 

15 bei dem die Anordnung eine Kamera ist, die in ein mobiles 
Kominunikationsgerat integriert ist. 

10. Anordnung zur Ermittlung einer Bewegung, der ein digita- 
lisiertes Bild unterliegt, 

20 mit einem Prozessor, der derart eingerichtet ist, dali folgen- 
de Schritte durchfuhrbar sind: 

- das digitalisierte Bild enthalt Bildpunkte, die zu Bild- 
blocken gruppiert sind, 

- fur jeden Bildblock wird eine Bewegungsschatzung durchge- 
25 fiihrt, wodurch fur jeden Bildblock ein Bewegungsvektor ermit- 

telt wird, welcher Bewegungsvektor dem jeweiligen Bildblock 
zugeordnet wird, 

- Bewegungsvektoren, die einem Bildblock, der in einem vorge- 
gebenen Bereich des digitalisierten Bildes liegt, zugeordnet 

30 sind, werden ausgewahlt, 

- aus den ausgewahlten Bewegungsvektoren werden Parameter ei- 
nes Bewegungsmodells ermittelt, und 

- die Bewegung des digitalisierten Bildes wird beschrieben 
durch das ermittelte Bewegungsmodell . 

35 

11. Anordnung nach Anspruch 10, 
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bei der der Prozessor derart eingerichtet ist, daii der vorge 
gebene Bereich durch Bildblocke gebildet wird, die in einem 
vorgegebenen ersten Abstand von einem Rand des digitalisier- 
ten Bildes liegen. 

5 

12. Anordnung nach Anspruch 11, 

bei der der Prozessor derart eingerichtet ist, 
gebene Bereich durch Bildblocke gebildet wird, 
vorgegebenen zweiten Abstand von der Mitte des 
10 ten Bildes liegen. 



dali der vorge 
die in einem 
digitalisier- 



13. T^ordnung nach einem der Ansprliche 10 bis 12, 

bei der der Prozessor derart eingerichtet ist, daii der vorge 
gebene Bereich in einem iterativen Verfahren wird. 

15 

14. Anordnung nach einem der Ansprliche 10 bis 13, 

bei der der Prozessor derart eingerichtet ist, daft die Bewe- 
gungsschatzung durch einen blockweisen Vergleich des Bild- 
blocks in dem digitalisierten Bild mit einem Bildblock in ei 
20 nem zeitlich vorangegangenen Bild erfolgt, der innerhalb ei- 
nes Suchraums vorgegebener Form und Grolie urn einen vorgegebe 
nen Wert gegeniiber dem Bildblock in dem digitalisierten Bild 
verschoben ist. 



25 15. Anordnung nach einem der Anspruche 10 bis 14, 

bei der der Prozessor derart eingerichtet ist, daii die ermit 
telte Bewegung kompensiert wird. 



16. Anordnung nach Anspruch 15, 
30 eingesetzt in einer bewegbaren Einrichtung. 



17. Anordnung nach Anspruch 16, 
eingesetzt in einer Kamera. 



35 18. Anordnung nach Anspruch 17, 

eingesetzt in einem Kommunikationsgerat mit einer Kamera. 
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